Sinh ra tại số 11, đường Valley Road, trong một ngôi nhà ở Grove Hill, Middlesbrough,[3] Brian Clough là con thứ sáu trong số chín người con của một công nhân làm việc tại một cửa hàng đồ ngọt, rồi sau này là một giám đốc. Người chị đầu, Elizabeth, chết năm 1927 vì nhiềm trùng máu vào năm bốn tuổi. Khi kể về tuổi thơ của mình, ông nói "rất yêu nó ở nhiều mặt. Tôi luôn biết ơn những người đã nuôi dưỡng mình, đó là bố mẹ tôi. Tôi là đứa trẻ đến từ một phần nhỏ của thiên đường." Khi được nuôi dưỡng ở Middlesbrough, Clough khẳng định rằng đây không phải là nơi đẹp nhất trên thế giới, "nhưng với tôi, đó là thiên đường". "Những gì tôi đã làm, đã đạt được hay luôn nghĩ về, những điều đã chỉ dẫn và ảnh hưởng đến cuộc đời tôi, ngoại trừ rượu, bắt nguồn từ tuổi thơ của tôi.[4] Đó có thể là sự chăm sóc không ngừ của mẹ tôi cho tám đứa trẻ, làm việc không ngừng đến tận khuya, lao động vất vả hơn những gì mà bạn hay tôi đã từng."

Mặc dù là một đứa trẻ thông minh, Clough đã trượt kỳ thi Eleven-plus vào năm 1946, và tới học tại trường cấp hai Marton Grove.[5] Ông sau đó thừ nhận trong tự truyện của mình rằng đã sao nhãng việc học hành vì ham mê thể thảo, cho dù tại trường, ông luôn là đứa trẻ dẫn đầu. Clough rời trường năm 1950 mà không có bằng cấp gì, đi làm tại ICI[6] và thực hiện nghĩa vụ quân sự rong RAF từ năm 1953 đến năm 1955.[7]